Một năm sau khi gia nhập chi nhánh của Jardine, Hà Đông kết hôn với Mạch Tú Anh (Margaret Maclean; 1865- 1944), con gái của ông Hector Coll Maclean người Scotland, làm đại lý bảo hiểm của Jardine tại Thiên Tân. Bà Mạch cũng có tư tưởng như người Trung Quốc. Mối quan hệ sau khi kết hôn rất tốt, nhưng họ không có con trong một thời gian dài, đó cũng là điều hối tiếc của họ, vì vậy Hà Đông đã lên kế hoạch cưới thêm một người vợ lẽ, bà Mạch chỉ đơn giản là đồng ý, nên Hà Đông kết hôn với phụ nữ Hán tên là Châu Ỷ Văn (周綺文).[7][8][9]

Sau ba năm, bà Châu vẫn chưa có con, điều này khiến hai người rất buồn. Bà Mạch Tú Anh quyết định tìm một người vợ lẽ khác. Lựa chọn là em họ tên Trương Tĩnh Dung (Clara Cheung Ching- Yung; 1875-1938), con gái của ông Trương Đức Huy (張德輝). Cha của Trương Đức Huy là Thomas Ash Lane, một trong những người sáng lập Lane Crawford và bố vợ là G.B.Glover, người Anh.[10] Thời gian đầu, ông Trương Đức Huy từng làm việc tại Hải quan Cửu Giang, Trung Quốc, và sau đó chuyển đến Thượng Hải. Ông từng đưa gia đình đến sống ở Thượng Hải trong vài năm. Con ông được giáo dục theo phương Tây ở Hồng Kông và Thượng Hải. Ông và Trần Khải Minh, Tiển Đức Phần, Thi Bỉnh Quang đều là người lai Âu Á tại Hồng Kông, trở thành bạn bè rồi kết nghĩa anh em.[11][12][13][14]

Bà Mạch đã kiên nhẫn thuyết phục mẹ của Trương Tĩnh Dung rằng cô gái sẽ trở thành vợ ngang hàng (bình thê). Bình thê có nghĩa tương đương với việc hai người có cùng địa vị trong nhà.[15][16] Ngoài ra còn có ngoại phụ (vợ lẽ) là Châu Xuân Lan (朱春蘭) sinh ra người con ngoài giá thú Hà Tá Chi (何佐芝).

Hai người phụ nữ đều được coi là mẹ của 10 người con. Năm 1906, gia đình ông Hà trở thành gia đình Trung Quốc đầu tiên được cấp phép đặc biệt của chính phủ để độc quyền cư trú tại khu Peak, đỉnh ngọn núi Victoria, Hồng Kông. Mặc dù gia đình giàu có, tuy nhiên những đứa trẻ đã bị từ chối nhập học tại trường Peak với lý do các phụ huynh khác đã đe dọa tẩy chay."

Năm 1908, khi đi bằng tàu từ Hồng Kông đến London, Hà Đông đã bị từ chối nhập cảnh tại San Francisco. Theo báo cáo, ông đi cùng hai vợ và ba đứa con đến từ phương Đông trên tàu thủy hơi nước Triều Tiên từ hôm trước và có lệnh trục xuất. Quyết định này được đưa ra bởi một hội đồng điều tra đặc biệt. Sau đó Hà Đông kháng cáo quyết định của Bộ trưởng Straus tại Washington. Ông Hà Đông nói rằng ông không thấy có vấn đề gì với chế độ đa thê. Cha ông là người Hà Lan và mẹ là người Trung Quốc và là một công dân nổi tiếng của Hồng Kông. Margaret trở lại vào ngày hôm sau. Robert kháng cáo và ông cùng Clara, những đứa trẻ và Kate Archer ở lại. Kháng cáo đã bị từ chối và sau đó tất cả trở lại vào tháng 4 năm 1909.[17]

Sau khi kỷ niệm sinh nhật lần thứ 80, ông tiến hành chuyến vượt biển, sang Ma Cao để nghỉ mát, mua một món quà lưu niệm còn bà Mạch tiếp tục ở lại Hồng Kông. Hồng Kông thất thủ vào ngày 25 tháng 12 năm 1941 và Hà Đông phải ở lại Ma Cao. Trong thời kỳ phát xít Nhật chiếm đóng, bà Mạch đã làm việc chăm chỉ để bảo vệ mọi người trong gia đình và cho phép hàng xóm sử dụng nước giếng trong biệt thự của gia đình trên đường Seymour. Bà đã đến Ma Cao để thăm chồng vào năm 1943. Sau khi ở lại một vài tuần, bà trở về Hồng Kông để làm một số việc nhà. Cuối cùng, bà qua đời vào tháng 2 năm 1944 khi bên cạnh chỉ có một người con trai.

Danh sách con

Dựa theo xếp thứ tự trong gia tộc, trực hệ của Hà Đông gọi là Hà Nhị Trạch, ông Hà Đông đặt tên phả hệ nhà mình là Hà Xương Viễn Đường.

• Vợ cả: Mạch Tú Anh
  • Con thừa tự: Hà Thế Vinh (nhận con của ông Hà Khải Phúc làm con nuôi)
• Bình thê: Trương Tĩnh Dung
  • Trưởng nữ: Hà Cẩm Tư（Victoria）
  • Trưởng nam: Hà Thế Cần（Henry）
  • Con gái thứ 2: Hà Tuệ Tư（Daisy）
  • Con trai thứ 2: Hà Thế Kiệm（Edward）
  • Con gái thứ 4: Hà Nhàn Tư （Eva）
  • Con gái thứ 5: Hà Kỳ Tư（Irene）
  • Con trai thứ 3: Hà Thế Lễ（Robert）
  • Con gái thứ 6: Hà Văn Tư（Jean）
  • Con gái thứ 7: Hà Nghiêu Tư（Grace）
  • Con gái thứ 8: Hà Hiếu Tư（Florence）
• Vợ lẽ: Châu Ý Văn
  • Con gái thứ 3: Hà Thuần Tư（Mary）
• Ngoài hôn nhân: Châu Xuân Lan
  • Con trai: Hà Tá Chi/Hà Thế Nghĩa（George）